AI Papers Daily

#LLM reliability

2 篇

U-Space: Uncovering When and Why Uncertainty Arises in Language Models

U-Space：揭示语言模型中不确定性何时何地产生

🧭 LLM 不确定性量化 · 可解释性

Technische Universität Darmstadt · University College London · Universität zu Lübeck · Mila – Quebec Artificial Intelligence Institute · Mohamed bin Zayed University of Artificial Intelligence

提出无需训练、无需重复生成的 U-Space 子空间，将 LLM 逐 token 不确定性可视化和标量化，校准优于基线

📌 工作参考价值（4 点）

• 在电商 Agent/工具调用链路中，可对 LLM 规划的每个步骤计算 U-Space 逐 token 不确定度，对高不确定性中间结论做早停、二次确认或转人工，避免错误随多步推理放大；无需重复采样，适合线上低延迟。
• 用于生成推荐理由、商品卖点或搜索改写时，可把 U-Lens 聚合分数作为轻量 confidence gate：低于阈值不展示解释或触发模型重写/检索增强，降低幻觉文案对用户信任的伤害。
• 做离线评测时，借鉴其 length-controlled evaluation：不要直接用生成长度作为质量/置信度代理，应分离长度相关与不确定性特定信息；U-Space 提供无标注的 token-level 不确定 map，便于定位长回答中哪一段开始“不确定”。
• 若业务已有 logits/隐藏状态可访问，U-Space 思路可低成本迁移：选定 few-shot 语义锚点构建正交基，不需要真实标签即可上线；与 supervised confidence 模型相比，跨分布迁移更稳。

Eval | 2026-10-05 | HF Daily | score 7/10

uncertainty quantificationmechanistic interpretabilityresidual streamLLM reliabilityconfidence estimation

Never the Number: Structural Abstention for AI Systems Whose Answers Are Consumed as Fact

永不碰数字：面向事实型答案 AI 系统的结构化弃权架构

🧭 LLM 可靠性 · 结构化弃权

用确定性内核与生成外壳解耦，生成组件只影响问题解释不碰返回值，无法表达请求直接拒绝，从结构上避免 LLM 事实性幻觉

📌 工作参考价值（4 点）

• 在电商/广告的自然语言数据问数、指标看板、运营机器人中，把“数值/聚合结果”与“自然语言解释”拆开：生成模块只负责 paraphrase、确认语义，数值由确定性 SQL/指标内核计算，避免 fluent wrong answer。
• 建立 bounded set of answerable question shapes，把 LLM 的输入映射到有限查询模板；不能映射的请求直接拒绝或让用户重新表述，而不是让 LLM 兜底生成近似答案，尤其适用客服、价格/库存/预算等高风险查询。
• Agent 系统中可复用到工具调用与策略动作：LLM 只负责路由、生成确认问题和措辞，不参与最终执行参数计算；对写操作/策略参数使用确定性决策层，降低工具误用与事实性污染。
• 五决策配方可作为 human-in-the-loop confirmation 设计参考：在展示数值前先让用户确认问题语义，把不可结构化表达的需求排除在计算之前，提升生产系统可信度。

LLM | 2026-08-14 | cs.CL | score 7/10

trustworthy AILLM reliabilityabstentiontext-to-SQLdeterministic executionagent safety